半监督对象检测（SSOD）的最新发展显示了利用未标记数据改善对象检测器的希望。但是，到目前为止，这些方法已经假设未标记的数据不包含分布（OOD）类，这对于较大规模的未标记数据集是不现实的。在本文中，我们考虑了一个更实用但具有挑战性的问题，开放式半监督对象检测（OSSOD）。我们首先发现现有的SSOD方法在开放式条件下获得了较低的性能增长，这是由语义扩展引起的，在该语义扩展中，分散注意力的OOD对象被错误预测为半监督训练的分布伪标签。为了解决此问题，我们考虑与SSOD方法集成的在线和离线OOD检测模块。通过广泛的研究，我们发现，基于自我监视的视觉变压器的脱机OOD检测器对在线OOD探测器的表现良好，因为它稳健地对伪标记的干扰。在实验中，我们提出的框架有效地解决了语义扩展问题，并在许多OSSOD基准（包括大规模的可可开放图）上显示出一致的改进。我们还在不同的OSSOD条件下验证框架的有效性，包括不同数量的分布类别，不同程度的监督和不同标记集的组合。
translated by 谷歌翻译
这项工作研究了经典的光谱群集算法，该算法嵌入了某些图$ g =（v_g，e_g）$的顶点，使用$ g $的某些矩阵的$ k $ eigenVectors纳入$ \ m athbb {r}^k $k $ - 分区$ v_g $ to $ k $簇。我们的第一个结果是对光谱聚类的性能进行更严格的分析，并解释了为什么它在某些条件下的作用比文献中研究的弱点要弱得多。对于第二个结果，我们表明，通过应用少于$ k $的特征向量来构建嵌入，光谱群集能够在许多实际情况下产生更好的输出；该结果是光谱聚类中的第一个结果。除了其概念性和理论意义外，我们工作的实际影响还通过对合成和现实世界数据集的经验分析证明，其中光谱聚类会产生可比或更好的结果，而较少$ k $ k $ eigenVectors。
translated by 谷歌翻译
机器学习（ML）研究通常集中在模型上，而最突出的数据集已用于日常的ML任务，而不考虑这些数据集对基本问题的广度，困难和忠诚。忽略数据集的基本重要性已引起了重大问题，该问题涉及现实世界中的数据级联以及数据集驱动标准的模型质量饱和，并阻碍了研究的增长。为了解决此问题，我们提出Dataperf，这是用于评估ML数据集和数据集工作算法的基准软件包。我们打算启用“数据棘轮”，其中培训集将有助于评估相同问题的测试集，反之亦然。这种反馈驱动的策略将产生一个良性的循环，该循环将加速以数据为中心的AI。MLCommons协会将维护Dataperf。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
我们提出了基于复发均衡网络的非线性动态控制器的参数化，这是复发性神经网络的概括。我们对控制器保证具有部分观察到的动态系统的指数稳定性的参数化受到限制。最后，我们提出了一种使用投影策略梯度方法合成该控制器的方法，以最大程度地利用任意结构来奖励功能。投影步骤涉及凸优化问题的解决方案。我们通过模拟控制非线性植物（包括用神经网络建模的植物）演示了提出的方法。
translated by 谷歌翻译
自闭症谱系障碍（ASD）是一种神经发育障碍，导致发生改变的行为，社会发展和通信模式。在过去几年中，自闭症患病率增加了两倍，现在有1分中有1个现在受到影响。鉴于传统诊断是一种冗长，劳动密集型的过程，已经对自动筛选自闭症的发展系统来说，已经提出了重大关注。韵律异常是自闭症的最明显的迹象，受影响的儿童展示言语特质，包括梯度，单调的语调，非典型音高和不规则语言压力模式。在这项工作中，我们展示了一套机器学习方法，以检测自闭症和神经典型（NT）儿童在家庭环境中捕获的自闭症语音音频中的自闭症。我们考虑了三种方法来检测儿童的自闭症语言：首先，在提取的音频特征（包括熔融频率跳跃系数）上培训的随机森林;二，卷积神经网络（CNNS）培训谱图;第三，微调Wav2Vec 2.0 - 基于最先进的基于变压器的ASR模型。我们在从斯坦福的猜测中培训我们的小说Todaset的小说数据集的分类器？移动游戏，一个应用程序，旨在在自然家庭环境中占有自闭症和神经典型的儿童的视频。随机森林分类器实现了70％的精度，微调Wav2Vec 2.0型号达到了77％的精度，CNN在将儿童的音频视为ASD或NT时，CNN可实现79％的准确性。我们的模型能够在具有不一致的录制质量选择的家庭音频剪辑上培训时预测自闭症状态，这可能更广泛地对现实世界的条件。这些结果表明，机器学习方法提供了在没有专门设备的语音中自动检测自闭症的承诺。
translated by 谷歌翻译
逃生加强学习系统的越来越趋势使其进入现实世界应用的进入现实应用程序的伴随着对他们的安全和鲁棒性的担忧越来越伴随着。近年来，已经提出了各种方法来解决安全意识的加强学习的挑战;然而，这些方法通常需要预先提供要提供的环境的手绘模型，或者环境相对简单且低维度。我们在称为潜在屏蔽的高维环境中提出了一种新的安全意识深度增强学习方法。潜在的屏蔽利用模型的代理学到的环境的内部表示，以“想象”未来的轨迹，避免被视为不安全的人。我们通过实验证明这种方法导致改善对正式定义的安全规范的依从性。
translated by 谷歌翻译
我们解决对象检测中的域适应问题，其中在源（带有监控）和目标域（没有监督的域的域名）之间存在显着的域移位。作为广泛采用的域适应方法，自培训教师学生框架（学生模型从教师模型生成的伪标签学习）在目标域中产生了显着的精度增益。然而，由于其偏向源域，它仍然存在从教师产生的大量低质量伪标签（例如，误报）。为了解决这个问题，我们提出了一种叫做自适应无偏见教师（AUT）的自我训练框架，利用对抗的对抗学习和弱强的数据增强来解决域名。具体而言，我们在学生模型中使用特征级的对抗性培训，确保从源和目标域中提取的功能共享类似的统计数据。这使学生模型能够捕获域不变的功能。此外，我们在目标领域的教师模型和两个域上的学生模型之间应用了弱强的增强和相互学习。这使得教师模型能够从学生模型中逐渐受益，而不会遭受域移位。我们展示了AUT通过大边距显示所有现有方法甚至Oracle（完全监督）模型的优势。例如，我们在有雾的城市景观（Clipart1k）上实现了50.9％（49.3％）地图，分别比以前的最先进和甲骨文高9.2％（5.2％）和8.2％（11.0％）
translated by 谷歌翻译
虽然我们注意临床自然语言处理（NLP）的最新进展，但我们可以注意到临床和翻译研究界的一些抵抗，因为透明度，可解释性和可用性有限，采用NLP模型。在这项研究中，我们提出了一种开放的自然语言处理开发框架。我们通过实施NLP算法为国家Covid队列协作（N3C）进行了评估。基于Covid-19相关临床笔记的信息提取的利益，我们的工作包括1）使用Covid-19标志和症状作为用例的开放数据注释过程，2）一个社区驱动的规则集合平台，3）合成文本数据生成工作流程，用于生成信息提取任务的文本而不涉及人为受试者。 Corpora来自来自三个不同机构的文本（Mayo Clinic，肯塔基州大学，明尼苏达大学）。用单个机构（Mayo）规则集进行了金标准注释。这导致了0.876,0.706和0.694的F-Scors分别用于Mayo，Minnesota和肯塔基测试数据集。作为N3C NLP子群体的联盟努力的研究表明，创建联邦NLP算法开发和基准测试平台的可行性，以增强多机构临床NLP研究和采用。虽然我们在这项工作中使用Covid-19作为用例，但我们的框架足以适用于临床NLP的其他兴趣领域。
translated by 谷歌翻译
由于它们的灵活性和富有效力，神经网络控制器在控制任务中变得流行。稳定性是安全关键动态系统的关键性质，而在许多情况下，部分观察到的系统的稳定化需要控制器保留和处理过去的长期记忆。我们将重要类别的经常性神经网络（RNN）视为非线性不确定部分观察系统的动态控制器，并基于积分二次约束，S-LEMMA和顺序凸化来推导凸稳定性条件。为了确保学习和控制过程中的稳定性，我们提出了一种预测的政策梯度方法，可迭代地强制执行关于系统动态的温和附加信息的重新制定空间中的稳定条件。数值实验表明，我们的方法在使用较少的样本并与政策梯度相比使用更高的样本并实现更高的最终性能时，学习稳定控制器。
translated by 谷歌翻译